home *** CD-ROM | disk | FTP | other *** search
/ The Works of John Ruskin / The Works of John Ruskin on CD-ROM.iso / bin / ctypes.cpl < prev    next >
Text File  |  1995-10-02  |  6KB  |  245 lines
  1. ####################################################################
  2. #
  3. # 
  4. # File: ctypes.def
  5. #
  6. # Personal Library Software, July, 1993
  7. # Tom Donaldson
  8. # 
  9. # Function: Tokenizer definitional data for table driven tokenizer.
  10. # This file defines a vanilla isalnum() type of tokenization.  All
  11. # lower case letters are uppercased by canonizer.
  12. # 
  13. # The CplTabledRomanceTokenizer allows customization of tokenization by
  14. # editing rules that define the operation of the tokenizer.  Central
  15. # concept is "word continuation" rules, defining characters-kinds that 
  16. # CANNOT be split from each other.
  17. # 
  18. # History
  19. # -------
  20. #
  21. # 27aug93    tomd    Created from tknztbld.def
  22. #
  23. ####################################################################
  24.  
  25.  
  26.  
  27. ####################################################################
  28. # 
  29. # Installation
  30. # ============
  31. # 
  32. # Database.def File
  33. # -----------------
  34. # 
  35. # To use the CplTabledRomanceTokenizer, you need this line in the .def
  36. # file for the database:
  37. # 
  38. # TOKENIZER = CplTabledRomanceTokenizer
  39. # 
  40. # 
  41. # Tokenizer File
  42. # --------------
  43. # 
  44. # This file, ctypes.def, is the rule file.  The tokenizer REQUIRES that
  45. # its definition file be named "tknztbld.def".  Therefore, you MUST copy
  46. # this file as "tknztbld.def".  The "tknztbld.def" file MUST be in the
  47. # "home directory" of the database using the tokenizer, or the "system"
  48. # directory for the CPL installation.
  49. # 
  50. # Note that a tknztbld.def in the database's home directory takes
  51. # precedence over a tknztbld.def in the CPL "system" directory.
  52. # 
  53. #
  54. ####################################################################
  55.  
  56.  
  57.  
  58.  
  59. ####################################################################
  60. #
  61. # Section 1: Character Class Definitions
  62. #
  63. ####################################################################
  64.  
  65. The only rule needed for this C-type isalnum() style of tokenization
  66. is a "letter" rule.  All characters that can take part in a token must
  67. be classified as a "letter".  Such "letter" characters will be
  68. unconditionally included in tokens, and "letter" characters will be
  69. unconditionally considered inseparable.
  70.  
  71. # Name
  72. # ----
  73.   Letter
  74.  
  75.   EndRule
  76.  
  77.  
  78.  
  79.  
  80.  
  81.  
  82.  
  83. ####################################################################
  84. #
  85. # Section 2: Character Classification Map
  86. #
  87. ####################################################################
  88.  
  89. # -------    -----        -----------------------
  90. # Decimal    Class
  91. #  Value    Name        Comment
  92. # -------    -----        -----------------------
  93.  
  94. # Digits: Note that they are classified as Letter, which is the only
  95. # character class defined.
  96.    48        Letter        # Char '0'
  97.    49        Letter        # Char '1'
  98.    50        Letter        # Char '2'
  99.    51        Letter        # Char '3'
  100.    52        Letter        # Char '4'
  101.    53        Letter        # Char '5'
  102.    54        Letter        # Char '6'
  103.    55        Letter        # Char '7'
  104.    56        Letter        # Char '8'
  105.    57        Letter        # Char '9'
  106.  
  107. # Upper case letters:
  108.    65        Letter        # Char 'A'
  109.    66        Letter        # Char 'B'
  110.    67        Letter        # Char 'C'
  111.    68        Letter        # Char 'D'
  112.    69        Letter        # Char 'E'
  113.    70        Letter        # Char 'F'
  114.    71        Letter        # Char 'G'
  115.    72        Letter        # Char 'H'
  116.    73        Letter        # Char 'I'
  117.    74        Letter        # Char 'J'
  118.    75        Letter        # Char 'K'
  119.    76        Letter        # Char 'L'
  120.    77        Letter        # Char 'M'
  121.    78        Letter        # Char 'N'
  122.    79        Letter        # Char 'O'
  123.    80        Letter        # Char 'P'
  124.    81        Letter        # Char 'Q'
  125.    82        Letter        # Char 'R'
  126.    83        Letter        # Char 'S'
  127.    84        Letter        # Char 'T'
  128.    85        Letter        # Char 'U'
  129.    86        Letter        # Char 'V'
  130.    87        Letter        # Char 'W'
  131.    88        Letter        # Char 'X'
  132.    89        Letter        # Char 'Y'
  133.    90        Letter        # Char 'Z'
  134.  
  135. # Lower case letters:
  136.    97        Letter        # Char 'a'
  137.    98        Letter        # Char 'b'
  138.    99        Letter        # Char 'c'
  139.    100        Letter        # Char 'd'
  140.    101        Letter        # Char 'e'
  141.    102        Letter        # Char 'f'
  142.    103        Letter        # Char 'g'
  143.    104        Letter        # Char 'h'
  144.    105        Letter        # Char 'i'
  145.    106        Letter        # Char 'j'
  146.    107        Letter        # Char 'k'
  147.    108        Letter        # Char 'l'
  148.    109        Letter        # Char 'm'
  149.    110        Letter        # Char 'n'
  150.    111        Letter        # Char 'o'
  151.    112        Letter        # Char 'p'
  152.    113        Letter        # Char 'q'
  153.    114        Letter        # Char 'r'
  154.    115        Letter        # Char 's'
  155.    116        Letter        # Char 't'
  156.    117        Letter        # Char 'u'
  157.    118        Letter        # Char 'v'
  158.    119        Letter        # Char 'w'
  159.    120        Letter        # Char 'x'
  160.    121        Letter        # Char 'y'
  161.    122        Letter        # Char 'z'
  162. # ---        -----        -----------------------
  163.    -1        EndOfDefs    # Not loaded.  Just marks end of map definition.
  164. # ---        -----        -----------------------
  165.  
  166.  
  167.    
  168.  
  169.  
  170.  
  171.  
  172. ####################################################################
  173. #
  174. # Section 3: Word Continuation Rules
  175. #
  176. ####################################################################
  177.  
  178. # There is only one rule.  Letter characters cannot be separated from
  179. each other, ever, and only Letter characters can be in tokens.
  180.  
  181. Letter    *
  182.  
  183. EndRule
  184.  
  185.  
  186.  
  187.  
  188.  
  189.  
  190.  
  191.  
  192. ####################################################################
  193. #
  194. # Section 4: Canonization Map
  195. #
  196. ####################################################################
  197.  
  198. # -------    -------        -----------
  199. #  Input    Output
  200. # Decimal    Decimal
  201. #  Char         Char
  202. #  Value     Value        Comment
  203. # -------    -------        -----------
  204. #
  205. # Map the characters a-z to the "canonical" characters A-Z.  That is,
  206. # all letters will be upper cased.
  207.    97        65        # Char 'a' canonizes to 'A'
  208.    98        66        # Char 'b' canonizes to 'B'
  209.    99        67        # Char 'c' canonizes to 'C'
  210.   100        68        # Char 'd' canonizes to 'D'
  211.   101        69        # Char 'e' canonizes to 'E'
  212.   102        70        # Char 'f' canonizes to 'F'
  213.   103        71        # Char 'g' canonizes to 'G'
  214.   104        72        # Char 'h' canonizes to 'H'
  215.   105        73        # Char 'i' canonizes to 'I'
  216.   106        74        # Char 'j' canonizes to 'J'
  217.   107        75        # Char 'k' canonizes to 'K'
  218.   108        76        # Char 'l' canonizes to 'L'
  219.   109        77        # Char 'm' canonizes to 'M'
  220.   110        78        # Char 'n' canonizes to 'N'
  221.   111        79        # Char 'o' canonizes to 'O'
  222.   112        80        # Char 'p' canonizes to 'P'
  223.   113        81        # Char 'q' canonizes to 'Q'
  224.   114        82        # Char 'r' canonizes to 'R'
  225.   115        83        # Char 's' canonizes to 'S'
  226.   116        84        # Char 't' canonizes to 'T'
  227.   117        85        # Char 'u' canonizes to 'U'
  228.   118        86        # Char 'v' canonizes to 'V'
  229.   119        87        # Char 'w' canonizes to 'W'
  230.   120        88        # Char 'x' canonizes to 'X'
  231.   121        89        # Char 'y' canonizes to 'Y'
  232.   122        90        # Char 'z' canonizes to 'Z'
  233.  
  234. # ---        -----        -----------------------
  235.    -1        -1        # Not loaded.  Just marks end of map definition.
  236. # ---        -----        -----------------------
  237.  
  238. ####################################################################
  239. #
  240. # 
  241. # End Of File: ctypes.def
  242. #
  243. # 
  244. ####################################################################
  245.